Real-time Classification of Dance Gestures from Skeleton Animation

リアルタイムダンスジェスチャ認識

We present a real-time gesture classification system for skeletal wireframe motion. Its key components include an angular representation of the skeleton designed for recognition robustness under noisy input, a cascaded correlation-based classifier for multivariate time-series data, and a distance metric based on dynamic time-warping to evaluate the difference in motion between an acquired gesture and an oracle for the matching gesture. While the first and last tools are generic in nature and could be applied to any gesture-matching scenario, the classifier is conceived based on the assumption that the input motion adheres to a known, canonical time-base: a musical beat. On a benchmark comprising 28 gesture classes, hundreds of gesture instances recorded using the XBOX Kinect platform and performed by dozens of subjects for each gesture class, our classifier has an average accuracy of 96:9%, for approximately 4-second skeletal motion recordings. This accuracy is remarkable given the input noise from the real-time depth sensor.

骨格ワイヤフレームモーションのためのリアルタイムジェスチャ分類システムを提示する。その重要な構成要素は、雑音の多い入力の下での認識ロバスト性のために設計されたスケルトンの角度表現、多変量時系列データのためのカスケード相関ベースの分類器、および動的タイムワーピングに基づく距離メトリックを含みます。ジェスチャーと一致するジェスチャーのオラクル。最初と最後のツールは本質的に一般的なものであり、あらゆるジェスチャマッチングシナリオに適用できますが、分類器は入力モーションが既知の標準的なタイムベース、つまり音楽のビートに従っているという仮定に基づいて考えられます。 28のジェスチャクラス、XBOX Kinectプラットフォームを使用して記録され、各ジェスチャクラスに対して何十もの被験者が実行した何百ものジェスチャインスタンスを含むベンチマークでは、約4秒の骨格モーション記録で96％9の平均精度が得られます。リアルタイム深度センサーからの入力ノイズを考えると、この精度は非常に優れています。

@inproceedings{Raptis:2011:RCD,

author = {M. Raptis and D. Kirovski and H. Hoppe},

title = "{Real-time Classification of Dance Gestures from Skeleton Animation}",

booktitle = {Proceedings of the 2011 ACM SIGGRAPH/Eurographics Symposium on Computer Animation},

series = {SCA '11},

year = {2011},

isbn = {978-1-4503-0923-3},

location = {Vancouver, British Columbia, Canada},

pages = {147--156},

numpages = {10},

doi = {10.1145/2019406.2019426},

acmid = {2019426},

publisher = {ACM},

address = {New York, NY, USA},

}